十款国产创新IC玩转AR/VR/XR x 元宇宙，掘金沉浸式经济

2023年第十三届松山湖中国IC创新高峰论坛在上周五(12日)举行，十款国产创新IC轮番登场，展示国产IC在“AR/VR/XR x 元宇宙”应用领域的创新与实力。oSfesmc

按照惯例，先简单回顾2022年面向“智慧出行”的十款国产IC（现场回顾）的量产情况。oSfesmc

oSfesmc

至于今年推介的十款国产创新IC，均聚焦于“AR/VR/XR x 元宇宙”应用领域，包括计算、感知、显示、通信以及存储五大领域。以下便展开介绍这十款创新产品。oSfesmc

（1）SH1580：多模态智能芯片

厂商名：成都视海芯图微电子有限公司oSfesmc

应用领域：智能教育硬件、服务机器人和ADAS等领域oSfesmc

产品优势：oSfesmc

• SH1580集成4亿晶体管，采用12nm工艺，是一款高性能智能视觉SoC，自主设计了多态神经网络处理器（PTPU）和3D视觉ISP，配备了4核Arm CPU A53。
• 自主研发的多态神经网络处理器具备4 ToPS算力，不仅能支持善于提取局部特征的CNN，也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果。
• SH100采用多通道DDR，具备超高数据高带宽，针对新兴AI模型优化的片上存储模块设计，可以为片内计算阵列提供可重构的高速数据流，从而，让视频流AI处理、多模态数据融合和点云神经网络等在AIoT终端落地实现可能。

oSfesmc

据视海芯图创始人、董事长许达文介绍，视海芯图成立的第一年就与一家AR眼镜公司签订了战略合作协议，很早就开始布局元宇宙。以微软（Microsoft）的Hololens为例，其有四个重要核心功能：（1）迅速和准确地进行手动跟踪、触摸、抓握和移动全息图；（2）内置语音命令，快速导航和操作；（3）场景识别；（4）将数字内容稳稳投射到相应的物理世界的对象或表面。oSfesmc

“要实现这些功能，需要把数字信息准确映射到物理世界中，用到场景识别和物理识别，还要支持图像输入、云输入等混合型输入。特别是图像输入，往往既要接收2D图像，也接收3D图像。”许达文表示，“这都需要复杂的配套场景和算法支撑，通常AR/VR终端产品公司很难做到。如果有一套基于Transformer为架构的模型，能够解决他们的问题，那一定非常受他们欢迎。”oSfesmc

由此，许达文介绍了公司全新的Transformer加速SoC SH1580。基于SH1580的视海芯图AR眼镜方案具备以下功能：特征点匹配（Feature Matching）LoFTR的SLAM，地点识别（Place Recognition）的SVT—Net，语义分割识别（SegFormer）和三维重建（Point-Bert）等。oSfesmc

oSfesmc

（2）MKS2206：低功耗感算一体智能芯片

厂商名：每刻深思智能科技（北京）有限责任公司oSfesmc

应用领域：XR设备（AR眼镜、VR头显等）oSfesmc

产品优势：oSfesmc

• 低功耗感算一体智能芯片集成多核自研NPU，并支持包括图像、语音等多种感知模态。
• 该款芯片解决了众多技术难点，在画面抖动、低视频分辨率、低照度及多目标类别等情况下，可提供稳定的检测和跟踪方案。
• 在面向XR设备的手势识别应用场景中，能够实时区分左右手并完成手势坐标点的定位，定位误差小于10mm，实时处理帧率大于60fps。
• 该芯片可实现小于50ms延迟的连续无卡顿交互。

每刻深思总经理邹天琦认为，XR交互方式会从基础的手势交互，转变至手势+眼动交互，最终形态是手势+眼动交互+SLAM。其中，手势交互贯彻始终，足以说明手势交互技术的重要性。oSfesmc

目前来看，元宇宙交互的正确打开方式就是边缘端裸手识别。手势是人类沟通的最自然的方式，也是人类从物理世界，借助边缘算力与虚拟世界连接的重要手段。硬件能力的限制是目前厂商不能很好地控制我们的设备的主要限制因素。传统的手势识别算法需要额外的深度传感器，端侧AI算力的崛起，使得这一切逐渐变为可能。oSfesmc

（3）ALPIX：融合视觉传感器在AR/VR领域技术与应用

厂商名：锐思智芯oSfesmc

应用领域：智能家居、IPC场景等oSfesmc

产品优势：oSfesmc

• ALPIX-Titlis™融合式超低功耗视觉传感器：适用于多种VIoT场景，保持对场景连续感知的同时，降低系统功耗。
• 像素端过滤80%冗余信息，节省系统成本，增加事件流数据，提高算法精度与效率，适配现有图像系统。

锐思智芯董事、合伙人况山女士提出，2015年以来，全球进入机器感知时代，视觉数据采集由“给人看”向“给机器看”的转变，传统图像传感器痛点频现：包括功耗高、动态模糊、算力消耗大、冗余数量大、动态范围窄（过暗与过曝）等。这也推动了基于事件的视觉传感器（EVS）的兴起。oSfesmc

锐思智芯早在2021年10月发布了首款融合视觉传感芯片ALPIX-Pilatus芯片，可实现：创新架构和像素设计；数据读出、处理算法；图像/事件感知融合至同一像素内。2022年7月发布了高端融合视觉感算一体传感芯片ALPIX-Eiger芯片，同步输出图像/事件数据，适用于手机、运动相机、消费电子。即将发布的超低功耗融合视觉传感器ALPIX-Titlis芯片，适用于智能家居、IPC场，可提供良好的性能和功耗优势。oSfesmc

据介绍，ALPIX在AR/VR领域的应用主要集中在快速眼动追踪、人机交互-跟踪与识别和SLAM等方面。ALPIX的低延迟、低功耗特性使其在这些领域具有显著的优势。此外，ALPIX还有助于实现低成本、高还原度的相机功能，以及改进高动态范围成像，这对于在室外工作的AR设备、汽车以及室外安防设备等领域具有重要价值。oSfesmc

（4）高精度MEMS微振镜芯片

厂商名：中科融合感知智能研究院（苏州工业园区）有限公司oSfesmc

应用领域：工业3D视觉、数字医疗、数字化三维视觉等oSfesmc

产品优势：oSfesmc

• 体积小，低功耗：基于电磁驱动的MEMS芯片设计（MEMS芯片功耗<100mW）。
• 光路简单，FoV可调范围大：无需复杂透镜组，FoV可调范围为0到~100°。
• 抗干扰强：光机使用边发射激光作为光源，频带宽度窄（考虑温漂以后~10nm），相比起LED光源，可使用带宽更窄的滤光片，提升对环境光的抗干扰性。

oSfesmc

中科融合联合创始人、CTO刘欣表示，三维扫描成像技术被广泛用来作为XR/元宇宙，数智孪生、虚拟人等应用的数据获取的入口。三维扫描成像技术可以用来对物体、人物等进行高精度的扫描建模，获得的点云被进行智能处理，并且被虚拟化。相较目前主流的三维成像技术，条纹结构光可以达到最高水平的成像精度和分辨率。oSfesmc

中科融合自研的MEMS激光微振镜投射芯片是实现条纹结构光的条纹投影的核心部件，采用高精密驱动控制实现低温漂和高角度重复精度，支持可见光、红外波段等激光光源，为客户提供高精度、高对比度、抗干扰能力强的激光投射模组。相比其他技术路线（LCOS，u-LED），LSB技术具有成本低廉，可小型化，光路结构更简洁等优势，因此被认为是XR领域成像的最优方案。oSfesmc

（5）VI63xx Liszt：40*30面阵、10m测距的高性能低功耗小尺寸3D dToF芯片

厂商名：南京芯视界微电子科技有限公司oSfesmc

应用领域：AR\VR\XR等穿戴设备、智能手机、工业测量、IoT等oSfesmc

产品优势：oSfesmc

• VI63xx 是一款单光子图像传感器，集成了1.2K像素（40行 x 30列）的SPAD 探测器阵列以及3D Global Shutter成像电路。
• 基于芯视界的单光子探测技术和直接光飞行时间（dToF）技术，VI63xx可以输出精度为毫米级的3D点云数据及深度图。
• 这款SoC为穿戴设备的3D成像提供了高效能、低功耗、低成本、高集成、超易用的解决方案。

oSfesmc

芯视界微产品总监张良认为，如今随着3D dToF向智能手机、XR及自动驾驶延伸落地，3D dToF市场被激活。以芯视界微的产品矩阵来看，有应用于高级辅助驾驶和无人及/无人车的VI43X0系列；有应用于XR设备、智能手机、工业测量、IoT的VI63xx系列，采用全球先进背照式（BSI）堆叠工艺技术，产品性能超越索尼/苹果合作开发的量产芯片；更有针对机器人三维建模导航的3D dToF SoC VI4331系列。oSfesmc

据张良介绍，目前单区与多区dToF产品已经在手机、XR和扫地机器人市场完成数千万级的交付。oSfesmc

（6）SIF7010：全自主知识产权的3D dToF图像传感器芯片

厂商名：武汉市聚芯微电子有限责任公司oSfesmc

应用领域：消费电子、智慧物流、机器人等oSfesmc

产品优势：oSfesmc

• SIF7010是一款基于聚芯微全自主知识产权的3D dToF图像传感器芯片。
• 其采用了业界领先的3D堆栈式工艺，实现了性能与功耗的平衡。
• SIF7010集成了高PDP的SPAD成像阵列，高性能TDC以及低功耗DSP，其拥有的1200的成像点可以广泛适用于多区对焦、SLAM、手势操作等应用。

oSfesmc

聚芯微联合创始人、CMO孔繁晓总结道，作为AR/VR应用中对于物理世界的感知的重要一环，ToF技术正得到越发广泛的关注。ToF技术具有分辨率高、3维成像精度高、功耗低、平台易于集成等特点，适用于SLAM、3D建模等应用。苹果也早已在数年前就已为iPhone/iPad装备了dToF激光雷达。oSfesmc

“聚芯作为业内少数能够提供高性能dToF图像传感器的公司，致力于向业界提供一站式解决方案，助力行业发展。”孔繁晓说道。oSfesmc

oSfesmc

（7）SMD013G1W002：面向AR/XR的国产Micro-LED显示驱动芯片

厂商名：深圳市思坦科技有限公司oSfesmc

应用领域：可穿戴设备等oSfesmc

产品优势：oSfesmc

• 该款硅基CMOS驱动芯片完成业内产品中最高的10000 PPI的驱动IC设计，首次实现0.13-inch超小像素间距的Micro-LED，高度集成的多功能驱动IC满足当前主流可穿戴市场的高需求。

oSfesmc

据思坦科技董事长刘召军介绍，Micro-LED优点包括自发光、亮度高、寿命长、对比度高、颜色鲜艳和省电等，因为基于半导体技术，可以到高达1万以上的高PPI。结合量子点技术的Micro-LED颜色会更鲜艳。其所采用的有机材料非常坚固，适合全天候在各种环境中使用。此外在响应速度方面，LED是毫秒级，OLED是微秒级，Micro-LED由于采用有机材料，所以可以达到纳秒级，如果采用氮化镓(GaN)可以达到皮秒级。oSfesmc

刘召军指出，虽然提到Micro-LED很多人都会想到巨量转移技术（Mass transfer），但实际上这里面有一个误区。“基本上Mass transfer用在中大尺寸屏幕上才可以，比如手机、电视。而在AR、XR中的显示技术，因为每颗像素已经到了微秒量级，所以不可能再分开，所谓的巨量转移就不太适用。”oSfesmc

（8）MSTR202：高集成度、低成本的45G毫米波Wi-Fi芯片

厂商名：南京迈矽科微电子科技有限公司oSfesmc

应用领域：短距高速Wi-Fi、投屏器、AR/VR/XR、回传等场景oSfesmc

产品优势：oSfesmc

• MSTR202是一款高集成度、低成本的45G毫米波Wi-Fi芯片。此芯片作为业界第一款支持802.11.aj标准的产品，集成了锁相环、双通道毫米波收发机，同时具有芯片级联功能。
• 配合高速Wi-Fi多通道基带芯片，可以支持超过10Gbps以上的传输速率，能满足XR等设备的场景应用。

oSfesmc

迈矽科董事长兼总经理侯德彬表示，在近几年元宇宙兴起的大背景下，AR/VR/XR等设备高速兴起，也对数据速率要求达到了10Gbps级别。为了提高XR等设备的应用场景，高速率、低延时、抗干扰的“无线化”传输设备是需要解决的关键技术。45G毫米波Wi-Fi技术从国际标准（IEEE 802.11.aj标准）到国家频谱均是作为中国引领的技术标准，在大带宽、高速率、低延时近距离场景具有先天优势，是XR等设备无线传输的很好解决方案。oSfesmc

在去年召开的第12届松山湖中国IC创新高峰论坛上，迈矽科微电子推介的是一款高性能的77G雷达芯片MSTR003。该芯片在输出功率和噪声性能上将会优于现有芯片产品，芯片集成了锁相环、ADC，同时具有芯片级联功能，支持雷达系统的低成本多片级联方案。该芯片于22年9月量产，到23年4月已经出货了30K，预计23年底能新增一倍出货，主要用于智慧交通领域。oSfesmc

今年第二代45GHz Wi-Fi前端芯片MSTR202是一款高集成度、低成本的45G毫米波Wi-Fi芯片。此芯片作为业界第一款支持802.11.aj标准的产品，集成了锁相环、双通道毫米波收发机，同时具有芯片级联功能。配合高速Wi-Fi多通道基带芯片，可以支持超过10Gbps以上的传输速率，能满足XR等设备的场景应用。据透露，MSTR202预计将会在2023年11月进行正式的发布。oSfesmc

（9）NRT81880：UWB通信定位系统芯片

厂商名：深圳市纽瑞芯科技有限公司oSfesmc

应用领域：智能手机、消费电子和工业应用等oSfesmc

产品优势：oSfesmc

• NRT81880是一款高性能UWB SoC芯片，符合IEEE 802.15.4/4z协议标准以及FiRa联盟规范。
• 它集成了一个带有高性能ARM^®CortexTM-M4F处理器的MCU，支持UWB 3D PDoA和AoA算法，以及UWB雷达功能。
• 此芯片支持UWB安全高速通信。
• 芯片采用1T3R架构，有利于高精度和实时测距以及AoA检测。

oSfesmc

纽瑞芯市场销售副总裁张海昆介绍道，UWB技术是一种使用1GHz以上频率带宽的无线载波通信技术。它不采用正弦载波，而是利用纳秒级的非正弦波窄脉冲传输数据，因此其所占的频谱范围很大，尽管使用无线通信，但其数据传输速率可以达到几百兆比特每秒以上。在消费类应用场景中，UWB技术可以针对AR/MR/VR眼镜和手持、智能穿戴设备实现高精度定位，籍由空间位置精确感知叠加虚拟增强景物实现室内空间重建，以及智能交互。oSfesmc

与主流欧美厂商的UWB芯片对比，纽瑞芯把测距精度从之前3-10厘米提高到了 1厘米；测角精度从3-10度提高到1度；把测角范围从正负60度提升到正负90度，基本实现180度全覆盖；测距距离从30-50米拉升到100米以外；数据传输率从31.2Mbps和27.2Mbps基础上，增加到124.8Mbps，实现小于1ms的低延时传输。oSfesmc

展望UWB技术的未来发展，张海昆认为以下几点非常重要：（1）提升测距测角精度和覆盖范围，跨越应用体验阈值；（2）高精度3D 3D-PDoA ，优化定位和IoT应用基础架构；（3）多种定位技术融合互补，增强体验；（4）发挥雷达感知功能，拓展应用场景；（5）高速低延时数据传输，下一个爆发点。oSfesmc

（10）P25Q32SN：业界首家1.1V 6.5uJ/Mbit超低电压超低功耗高性能Flash存储器芯片

厂商名：普冉半导体（上海）股份有限公司oSfesmc

应用领域：元宇宙等oSfesmc

产品优势：oSfesmc

• 支持1.1V电源系统，为业界最低，具备宽电压范围1.05V~2.00V，可涵盖1.1V、1.2V和1.8V AIOT系统。
• 采用业界创新工艺和领先制程的40nm SONOS工艺。
• 目前行业最低功耗，1.1V 80M STR 4IO 读取功耗约2.86mW，80M DTR 4IO读取功率约为4.2mW，为业界同类产品功耗的一半，甚至更低。
• 快速读取：416Mbps(STR 4IO)；640Mbps(DTR 4IO)。
• 16Mb-64M已出货，后续将开发全容量系列；同时支持SOP8、USON8、WSON8、TSSOP8、WLCSP等多种封装形式以及KGD for SiP。

oSfesmc

普冉半导体设计中心高级总监冯国友介绍，该系列是2018年松山湖推出的第一代超低功耗PU系列的重磅升级，普冉PU系列目前已累计销售1.8亿颗。oSfesmc

结合本次松山湖IC论坛“AR/VR/XR x 元宇宙”的主题，这款存储器芯片可基于极低功耗，为音频、图像等多模态SoC智能主控芯片提供必要性存储辅助，助力元宇宙的国产生态链完善。oSfesmc

oSfesmc

谈到为什么推出这样一款超低功耗、超低电压的产品，冯国友表示，随着Open AI/ChatGPT这类AI应用的兴起，可以助力AR/VR设备提升语言、图像、音频处理的性能，带动元宇宙的发展。一些新兴应用，如AR教育等会增加设备电力消耗，智能设备总量的增加以及高端设备算力的增加，都会带来额外的电力消耗。“用户都希望可穿戴产品有更长的待机时间，基于这些新兴应用，不仅对芯片制程、容量、计算速度、稳定性提出了新要求，也对低功耗提出更高的迭代要求。”oSfesmc

同期活动文章：

以产品为中心，中国半导体产业论道松山湖oSfesmc

2022年广东半导体及集成电路产业集群营收超2200亿元oSfesmc

元宇宙2023，国产IC开启“芯玩法”oSfesmc